¿Qué es un sensor 3D?
Un sensor 3D registra la estructura espacial y la superficie de un objeto o una escena. Además de la información de posición bidimensional en dirección x e y, también determina la distancia o la profundidad, respectivamente, en una tercera dirección espacial (z). Esto genera datos tridimensionales; por ejemplo, en forma de mapa de profundidad o nube de puntos. Sobre esta base se pueden determinar, entre otras cosas, las dimensiones, las posiciones, los volúmenes y la geometría de superficie de los objetos.
¿Cuándo se utiliza el procesamiento de imágenes 3D?
El procesamiento de imágenes 2D registra características como el brillo, el color y el contorno dentro de un plano. Si se necesita información adicional sobre la posición, la altura o la forma de un objeto, se utilizan sensores 3D. Los datos de medición permiten la detección de objetos 3D, la determinación de volumen, el guiado de robots y el control de calidad automatizado. Los campos de aplicación típicos son la recogida de piezas de una caja, la despaletización, los procesos robóticos de recogida y colocación y la inspección de superficies 3D.
Captura de imágenes 2D h4>
Captura de imágenes 3D h4>
Aplicaciones típicas con sensores 3D
Bin Picking h4>
En el Bin Picking, un robot retira objetos desordenados de un contenedor o una caja. Un sensor 3D registra la posición y la orientación y genera una nube de puntos 3D de su superficie visible. A continuación, el sistema robótico puede determinar la posición de agarre adecuada y extraer los componentes de forma selectiva. Este procedimiento es especialmente adecuado para objetos con geometrías complejas o posiciones variables.
Despaletización h4>
Los sensores 3D ayudan a despaletizar cajas de cartón, contenedores o productos de un palé. Con ayuda de datos espaciales se detectan diferencias de altura, las posiciones de los objetos y los patrones de apilado; lo que permite que el robot recoja los objetos con precisión. Esto permite procesar de forma fiable incluso cargas irregulares o mixtas.
Inspección de superficies 3D h4>
Las abolladuras, las deformaciones, los errores de montaje y las diferencias de altura se pueden detectar con precisión independientemente del color o el contraste con la inspección de superficies 3D. Por lo tanto, los datos de medición tridimensionales son adecuados para controles de calidad automatizados, así como para la comprobación de la precisión dimensional y la integridad.
Fundamentos de la adquisición de imágenes 3D
Los sensores 3D proporcionan los datos de medición en forma de nube de puntos 3D y pueden emitir valores de intensidad adicionales en función del modelo de sensor. En el procesamiento industrial de imágenes 3D se utilizan, entre otros, sensores de perfiles 2D/3D y sensores snapshot.
Los sensores de perfiles 2D/3D proyectan una línea láser sobre el objeto de medición y registran perfiles de altura 2D individuales. Mediante el movimiento relativo entre el sensor y el objeto, los perfiles capturados uno tras otro se unen para formar una nube de puntos 3D completa. Este método es especialmente adecuado para la medición continua de objetos en movimiento, por ejemplo, en cintas transportadoras o líneas de producción.
Los sensores 3D registran todo el volumen de medida en una sola captura. Para crear una nube de puntos 3D completa, el objeto no debe moverse durante la captura. Por lo tanto, este procedimiento es especialmente adecuado para mediciones de alta resolución de objetos estáticos, así como para registrar los detalles de superficie más finos.
Sistemas de coordenadas para el procesamiento de datos 3D
Los sistemas de coordenadas son fundamentales para el procesamiento espacial de datos 3D. Los puntos de medición registrados por el sensor 3D se refieren al sistema de coordenadas del sensor. El sistema de coordenadas del sensor define la posición de cada punto de medición en relación con la posición y orientación del sensor y constituye la base para el procesamiento posterior de los datos de profundidad.
Para que los robots, las instalaciones o los sistemas de procesamiento de imágenes puedan utilizar los datos registrados, estos deben transferirse a un sistema de coordenadas global o relacionado con la instalación. De este modo, se pueden determinar claramente las posiciones de los objetos, los movimientos y los puntos de agarre dentro de la aplicación.
Calibración mano-ojo para Robot Vision
En las aplicaciones Robot Vision, los sistemas de coordenadas del sensor 3D y del robot deben estar vinculados entre sí. La calibración mano-ojo determina la transformación geométrica entre ambos sistemas. De este modo, el robot puede interpretar las posiciones 3D registradas por el sensor en su propio sistema de coordenadas y desplazarse de forma selectiva.
En función de la aplicación se diferencia entre dos variantes:
Eye-to-hand h4>
En el procedimiento “eye-to-hand”, el sensor está montado de forma fija en el espacio de trabajo y observa el rango de trabajo del robot. Con ayuda de la calibración se determina su posición y orientación con respecto a la base del robot.
Eye-in-hand h4>
Por el contrario, con “eye-in-hand”, el sensor se encuentra directamente en el brazo robótico y se mueve con él. En este caso, se determina su posición en relación con el punto central de la herramienta (TCP).
La calibración se realiza mediante objetos de referencia definidos o patrones de calibración que son registrados tanto por el sistema robótico como por el sensor 3D. A partir de las posiciones registradas, se calcula la transformación entre los sistemas de coordenadas. A continuación, las coordenadas de imagen detectadas del sistema de coordenadas del sensor se pueden transferir a las coordenadas del robot. Incluso pequeñas desviaciones en la calibración pueden provocar errores de posición en el control de la pinza o en la planificación de trayectorias.
Calibración mano-ojo con sensores de la serie M3DS h4>
Para la integración en sistemas robóticos y sistemas de procesamiento de imágenes, GitHub ofrece varios ejemplos de proyectos y calibraciones. Estos incluyen, entre otros, implementaciones de referencia para calibraciones mano-ojo y transformaciones de sistemas de coordenadas 3D. Esto permite comprender los procesos típicos de integración y calibración, y utilizar los ejemplos proporcionados directamente para la aplicación propia.
Distancia de trabajo y rango de medición de los sensores 3D
Distancia de trabajo h4>
Rango de medición h4>
El rango de medición de un sensor 3D basado en triangulación tiene la forma de un tronco de pirámide. Cuanto mayor sea la distancia al sensor, mayor será el campo de medición en dirección x e y. Esto permite capturar objetos o escenas de mayor tamaño a distancia.
Al mismo tiempo, los puntos de medición se distribuyen sobre una superficie más grande, lo que aumenta la distancia entre los puntos adyacentes. Por lo tanto, en el área cercana, la densidad de puntos de una nube de puntos 3D es mayor y las estructuras finas se pueden registrar con más detalle.
La resolución de profundidad en la dirección z también depende de la distancia de trabajo. A medida que aumenta la distancia, disminuye la sensibilidad geométrica de la triangulación; lo que permite detectar mejor pequeñas diferencias de altura a corta distancia.
¿Cómo se crea una nube de puntos 3D?
Los sensores 3D utilizan luz estructurada para proyectar patrones de luz sobre un objeto. Las deformaciones de estos patrones permiten sacar conclusiones sobre el contorno del objeto. A continuación, una cámara registra la deformación del patrón en la superficie. A partir de su desplazamiento, el sensor utiliza la triangulación óptica para calcular la información de profundidad y generar una nube de puntos 3D.
Paso 1: Proyección de un patrón de luz h3>
El Light Engine integrado proyecta patrones de luz definidos sucesivamente en la superficie de un objeto. El patrón sirve como estructura de referencia definida para el cálculo posterior de la profundidad. Los sensores 3D de wenglor utilizan luz azul, ya que su longitud de onda más corta permite una mayor precisión óptica y, al mismo tiempo, es menos sensible a la luz ambiental. Esto permite registrar incluso estructuras superficiales finas de forma estable y con alto contraste.
Paso 2: Deformación del patrón de luz en el objeto h3>
Si el patrón de luz estructurado incide sobre un objeto, este se distorsiona espacialmente en función de la geometría. Las diferencias de altura, los bordes y las cavidades provocan un desplazamiento de las franjas proyectadas en la imagen de la cámara. La deformación del patrón contiene información sobre la forma y la profundidad del objeto.
Las superficies lisas, texturizadas o muy reflectantes pueden afectar a la calidad de la imagen del patrón y, por lo tanto, también afectan al cálculo posterior de la profundidad.
Paso 3: Captura del patrón de luz a través de la cámara h3>
A continuación, la cámara registra los patrones de luz proyectados desde un ángulo determinado. Durante la captura, el sistema analiza la posición exacta y la deformación de los patrones proyectados en la imagen. A partir de varias imágenes individuales capturadas, se crea un conjunto completo de datos de la escena. La claridad de los patrones en la imagen de la cámara depende, entre otros factores, del tiempo de exposición, la reflexión superficial, la luz ambiental y la resolución óptica del sensor.
Paso 4: Cálculo del valor de profundidad mediante triangulación h3>
La cámara y el proyector observan el objeto de medición desde diferentes ángulos. Junto con un punto superficial, forman un triángulo geométrico. Dado que las posiciones de la cámara y el proyector son conocidas entre sí, el sensor puede calcular la profundidad de cada punto de medición individual a partir del desplazamiento de los patrones capturados.
Este procedimiento se denomina triangulación óptica y constituye la base para la reconstrucción espacial de la superficie visible del objeto.
Paso 5: Generación de la nube de puntos h3>
Basándose en la calibración de la cámara, el sensor genera una nube de puntos 3D a partir de los valores de profundidad calculados. Cada punto de medición se describe mediante sus coordenadas x, y, z; lo que le da una posición inequívoca en el espacio. La nube de puntos representa así la estructura superficial del objeto al detalle y con precisión.
Además, se puede almacenar información adicional, como valores de intensidad o los llamados valores de confianza. Mientras que los datos de intensidad proporcionan información sobre el brillo o las propiedades de reflexión, el valor de confianza indica la calidad o fiabilidad de un punto de medición individual.
Procesamiento de datos 3D
En la proyección de luz estructurada, se pueden utilizar diferentes métodos de reconstrucción para generar datos 3D. El método de franjas y el método de fases difieren en el tipo de patrones proyectados y su evaluación. Ambos procedimientos utilizan secuencias de código Gray que permiten asignar claramente los patrones de luz proyectados a los puntos de imagen registrados. Esta asignación constituye la base para el cálculo de los valores de profundidad. El método adecuado para una tarea de medición depende, entre otras cosas, del tiempo de captura necesario, de la naturaleza de la superficie del objeto y de las reflexiones o la luz ambiental.
Comparación del método de franjas y del método de fases
Método de franjas h4>
En el método de franjas, se proyectan franjas de luz claramente separadas y de alto contraste de diferente anchura sobre la superficie del objeto. Debido al alto contraste, los patrones proyectados se pueden reconocer especialmente bien en superficies oscuras o muy reflectantes. Al mismo tiempo, los patrones binarios permiten tiempos de exposición muy cortos; lo que hace que el método sea especialmente adecuado para superficies exigentes.
Método de fases h4>
En el método de fases, se proyectan patrones de franjas de luz sinusoidal con diferentes desplazamientos de fase en la superficie del objeto. En lugar de franjas individuales, se evalúa la distribución continua de la luminosidad de los patrones proyectados. Esto permite determinar la posición de un punto de medición con una precisión subpíxel, lo que permite obtener datos 3D especialmente lisos, de alta resolución y detallados.
Visualización de una nube de puntos 3D
Representación en falso color h4>
En la representación en falso color, se asignan diferentes colores a los valores de profundidad de la nube de puntos 3D. De este modo, se visualizan las diferencias de altura y los contornos del objeto, lo que permite una rápida interpretación de los datos de medición.
Imagen de intensidad h4>
Además de los valores de profundidad, el sensor puede generar una imagen de intensidad. Esto corresponde a una captura clásica de valores de gris y contiene información sobre las propiedades de reflexión de la superficie.
Imagen de confianza h4>
La imagen de confianza muestra la calidad o fiabilidad de los puntos de medición individuales dentro de la nube de puntos. Esto permite detectar y evaluar específicamente áreas con un cálculo de profundidad incierto o una mala calidad de la señal.
Recording Parameters of 3D Sensors
Exposure Time
Gain
Subsampling
Accuracy specifications according to VDI/VDE
Stack size
The stack size indicates how many individual images or pattern projections are used for a 3D image. A larger stack size provides more image information and can reduce measurement noise. At the same time, the recording time is extended, which reduces the maximum achievable capture speed.
Other 3D Technologies
Passive stereo
In this procedure, two cameras view the same object at an angle. By capturing the same features from both cameras, the spatial position of the feature in the room can be calculated from their image shift. The difficulty here is identifying the same point with both cameras. This method is suboptimal when viewing a low-contrast surface such as a white wall, for example.
Active stereo
The structure is the same as that of the passive stereo. In addition, a pattern (e.g. randomly distributed points) is projected onto the surface. This makes it easier to assign a point from both cameras.
Time-of-flight
In this procedure, the distance between the object and the sensor is determined based on the transit time. The sensor emits light pulses that hit an object and are reflected by it. The distance is determined depending on the duration of the reflection of the light pulses. This allows depth information such as structures or distances of objects to be determined.
Laser triangulation
In laser triangulation, a laser projects a line onto the object that is captured by a camera at a defined angle. The height of the object surface can be determined by the shift of the laser line in the camera image. As only one profile is captured at a time, either the object or the sensor must be moved to generate complete 3D data. The method is characterized by high accuracy, but is dependent on a defined relative movement during recording.
Comparison of Technologies
| Structured light | Passive stereo | Active stereo | Time of flight | |
|---|---|---|---|---|
| Resolution | ![]() |
![]() |
![]() |
![]() |
| Accuracy | ![]() |
![]() |
![]() |
![]() |
| Ambient light | ![]() |
![]() |
![]() |
![]() |
| Reading speed | ![]() |
![]() |
![]() |
![]() |
| Low-contrast objects | ![]() |
![]() |
![]() |
![]() |
| Obstruction/shading | ![]() |
![]() |
![]() |
![]() |
|
Resolution
|
|||
|---|---|---|---|
|
Structured light
|
Passive stereo
|
Active stereo
|
Time of flight
|
|
Accuracy
|
|||
|
Structured light
|
Passive stereo
|
Active stereo
|
Time of flight
|
|
Ambient light
|
|||
|
Structured light
|
Passive stereo
|
Active stereo
|
Time of flight
|
|
Reading speed
|
|||
|
Structured light
|
Passive stereo
|
Active stereo
|
Time of flight
|
|
Low-contrast objects
|
|||
|
Structured light
|
Passive stereo
|
Active stereo
|
Time of flight
|
|
Obstruction/shading
|
|||
|
Structured light
|
Passive stereo
|
Active stereo
|
Time of flight
|
Integration in Industrial Systems
For a 3D sensor to be used in industrial applications, it must be able to be seamlessly integrated into existing automation, robotics and image processing systems. In addition to the actual 3D data acquisition, standardized interfaces, software libraries and flexible integration options play a central role here. Modern 3D sensors offer extensive software and communication interfaces for this purpose, which enable easy integration into a wide range of system environments.



